Fae Audrey Ellington sinh ngày 28 tháng 5 năm 1950 tại quận Smithville thuộc Giáo xứ Clarendon, Jamaica. Cô là đứa con duy nhất của Mary "Mae" Williams và Exford Joseph Ellington, một giáo viên của trường. Cha mẹ cô không bao giờ kết hôn và Fae sẽ không gặp cha cô cho đến khi cô 21 tuổi. Ngoài việc lớn lên với sự kỳ thị là con của cha mẹ ngoài ý muốn, Ellington còn bị mắc bệnh hen suyễn và chứng khó đọc.